Stage 2 -- Task A / B / C -- 신규 업데이트
('Stage_2_updated_A_B_C_v0.yml')


--------------------------------------------------------------
## 1st Try

LLM: Gemini 3.1 Pro
런타임: 3min 33secs
총비용: $4.93

청구권 식별 비교

C-001 -- 1
C-002 -- 2
C-003 -- 9 (원고 강용원 빠져야 함)
C-004 -- 10 (원고 강용원 빠져야 함)
C-005 -- 8
C-006 -- 11
C-007 -- 3
C-008 -- 7
C-009 -- X 
C-010 -- 4
C-011 -- 6

에이전트가 식별하는 데 실패한 청구권:
- 변호사 식별 청구권 5번: {"claim_title":"부당이득반환 청구","plaintiffs":["강용원"],"defendants":["박성희"],"claim_statement":"원고 강용원은 피고 박성희를 상대로 부당이득반환 청구를 할 수 있다."}

에이전트가 실수한 것
- C-003, C-004: 원고 강용원을 포함시켰음. 인간 변호사는 원고에서 강용원을 배제했음.

에이전트가 잘못 식별한 청구권
- C-009: 인간 변호사는 이 청구권을 제시하지 않음

Evaluation: Task B/C에서 common prefix가 일치하지 않아서 총비용이 상승한 것으로 보임 --> prefix 수정하여 다시 테스트 해야 함



------------------------------------------------------------

## 2nd Try

LLM: GPT-5.4 (common prefix 수정했음)
런타임: 7min 45secs
총비용: $4.08

청구권 식별 비교

C-001 -- 1
C-002 -- 8
C-003 -- 11
C-004 -- 2
C-005 -- 9 (원고에 강용원 빼야함)
C-006 -- 10 (원고에 강용원 빼야함)
C-007 -- 3
C-008 -- 7
C-009 -- 6
C-010 -- 5


에이전트가 실수한 것
- C-005, C--6: 에이전트는 원고에 강용원을 포함시켰지만, 인간 변호사는 원고에 강용원을 배제했음

에이전트가 완전히 잘못 식별한 청구권
- 없음

에이전트가 식별하지 못한 청구권 (claims missed by Agent)
- 인간 변호사는 **4. {"claim_title":"부당이득반환 청구","plaintiffs":["강용원"],"defendants":["이문호"],"claim_statement":"원고 강용원은 피고 이문호를 상대로 부당이득반환 청구를 할 수 있다."}**을 식별했으나, 에이전트는 이 청구권을 식별하지 못했음

사건종류 파악 오류
- C-009: 에이전트는 단순하게 '이행의 소'라고 하였으나, 이것은 '토지인도 청구'에 해당한다. 


------------------------------------------------------------


## 청구권 식별 비교 전략

1. Gemini vs GPT 차이가 나지 않는다면

- GPT Pro와 Gemini DT에서 동시에 원인을 분석시킴
- 분석한 원인을 교차 검증하여 stage 1 & stage 2 개선 사항 추려냄
- GPT에서 프롬프트 업데이트하고, Gemini 통해서 검증하고, 다시 GPT에서 재생성
- 테스트 > 청구권식별 비교

2. Gemini vs GPT 차이가 나고 GPT만 맞다면
- 





















